Trước khi có kênh Chợ Gạo, ghe thuyền đi từ miền Tây về Sài Gòn đi lại rất vất vả. Sách Gia Định thành thông chí ghi: "Ghe thuyền từ Bến Nghé xuống miền Tây phải theo rạch Ông Lớn xuống hạ lưu sông Rạch Cát rồi qua sông Phước Lộc và sông Vàm Cỏ để tới sông Tra. Sau đó tiếp tục men theo rạch Kỳ Hôn để vòng ra sông Tiền thẳng tiến về miền Tây. Tuy nhiên đoạn rạch Kỳ Hôn bị cong, thường bị cạn lấp và có chỗ giáp nước nên tàu bè đi lại rất khó khăn".[2] Cũng có tuyến đi theo sông Tiền đến Cửa Tiểu rồi ra biển Gò Công (địa phận Tiền Giang). Sau đó men theo bờ biển tới sông Soài Rạp rồi theo sông Soài Rạp về Sài Gòn. Tuy nhiên tuyến này rất xa và nguy hiểm bởi đa số tàu thuyền chỉ đi đường sông chứ không ra biển được.

Kênh Chợ Gạo cùng với Kênh Xáng Xà No được chính quyền thực dân Pháp đào vào cuối thế kỷ XIX đầu thế kỷ XX nhằm mục đích thủy lợi và giao thông giúp khai hoang vùng đồng bằng sông Cửu Long.[3]

Kênh Chợ Gạo (Canal Duperrée) được người Pháp cho đào thủ công năm 1876 (Theo Bức ảnh tư liệu chụp cảnh đào kênh Chợ Gạo đăng trong tài liệu nghiên cứu của Lê Công Lý đăng trên Tạp chí nghiên cứu phát triển số 3 năm 2010 được lưu giữ tại thư viện Bộ Ngoại giao Pháp có ký số A000760 được chụp năm 1876)[2] chỉ sau một thời gian ngắn chiếm đóng Nam Kỳ, nhằm nối sông Tiền và sông Vàm Cỏ, tạo tuyến đường thủy từ Sài Gòn đi miền Tây Nam Bộ ngắn nhất.

Từ khi có kênh Chợ Gạo, tàu thuyền đi lại giữa Chợ Lớn và miền Tây tăng nhanh. Khoảng đầu thập niên 1900, Công ty Messageries Fluviales (Pháp) đã đưa tàu khách vào hoạt động trên tuyến kênh này.

Năm 1902, chính quyền Pháp lập một đồn kiểm soát ở đầu kênh giáp với rạch Kỳ Hôn và mở tuyến phà đưa khách qua kênh gọi là "bắc Chợ Gạo".

Năm 1913, chính quyền Pháp dùng xáng múc nạo vét kênh Chợ Gạo sâu 5m và mở rộng thêm hàng chục mét; đồng thời xác định kênh Chợ Gạo là "con đường xuất khẩu gạo" của Nam Kỳ.[4]

Trước năm 1975, chính quyền Sài Gòn xây dựng tuyến đường nối Sài Gòn - Mỹ Tho - Gò Công. Để đi từ Mỹ Tho đến Gò Công thì buộc phải qua bắc Chợ Gạo.[2]